具有差异隐私（DP）的文本重写提供了具体的理论保证，可以保护个人在文本文档中的隐私。实际上，现有系统可能缺乏验证其隐私索赔的手段，从而导致透明度和可重复性问题。我们介绍了DP-Rewrite，这是一个开源框架，用于差异化文本重写，旨在通过模块化，可扩展和高度定制来解决这些问题。我们的系统结合了各种下游数据集，模型，培训前程序和评估指标，以提供一种灵活的方式来领导和验证私人文本重写研究。为了在实践中展示我们的软件，我们提供了一组实验，作为对熟练DP文本重写系统的案例研究，检测其预训练方法中的隐私泄漏。我们的系统公开可用，我们希望它将帮助社区使DP文本重写研究更容易访问和透明。
translated by 谷歌翻译
在培训现代NLP模型中保留隐私费用。我们知道更严格的隐私保证在差异私有的随机梯度下降（DP-SGD）中通常会降低模型性能。然而，先前关于NLP中DP-SGD效率的研究是不确定的甚至反直观的。在这篇简短的论文中，我们在五个不同的“典型的”NLP任务中，对七个下游数据集进行了彻底分析了七个下游数据集，其使用现代神经模型不同的复杂性。我们表明，与解决NLP任务的标准非私人方法不同，在那里更大通常更好，隐私保存策略不会表现出胜利模式，每个任务和隐私制度都需要特殊的待遇来实现足够的绩效。
translated by 谷歌翻译